脑小血管疾病的成像标记提供了有关脑部健康的宝贵信息，但是它们的手动评估既耗时又受到实质性内部和间际变异性的阻碍。自动化评级可能受益于生物医学研究以及临床评估，但是现有算法的诊断可靠性尚不清楚。在这里，我们介绍了\ textIt {血管病变检测和分割}（\ textit {v textit {where valdo？}）挑战，该挑战是在国际医学图像计算和计算机辅助干预措施（MICCAI）的卫星事件中运行的挑战（MICCAI） 2021.这一挑战旨在促进大脑小血管疾病的小而稀疏成像标记的自动检测和分割方法的开发，即周围空间扩大（EPVS）（任务1），脑微粒（任务2）和预先塑造的鞋类血管起源（任务3），同时利用弱和嘈杂的标签。总体而言，有12个团队参与了针对一个或多个任务的解决方案的挑战（任务1 -EPVS 4，任务2 -Microbleeds的9个，任务3 -lacunes的6个）。多方数据都用于培训和评估。结果表明，整个团队和跨任务的性能都有很大的差异，对于任务1- EPV和任务2-微型微型且对任务3 -lacunes尚无实际的结果，其结果尤其有望。它还强调了可能阻止个人级别使用的情况的性能不一致，同时仍证明在人群层面上有用。
translated by 谷歌翻译
基于图像的3D检测是自主驾驶感知系统的必不可少的组成部分。但是，它仍然受到不满意的表现，这是有限的培训数据的主要原因之一。不幸的是，在3D空间中注释对象是极度时间/资源消耗的，这使得很难任意扩展训练集。在这项工作中，我们专注于半监督的方式，并探索更便宜的替代方案（即伪标记）的可行性，以利用未标记的数据。为此，我们进行了广泛的实验，以研究伪标签是否可以在不同环境下为基线模型提供有效的监督。实验结果不仅证明了基于图像的3D检测的伪标记机制的有效性（例如，在单眼设置下，我们在没有铃铛和哨声的Kitti-3D测试集上实现了20.23 AP，用于中等水平，从6.03 AP），但还显示了几个有趣且值得注意的发现（例如，经过伪标签训练的模型的性能要比基于相同培训数据的地面真相注释训练的表现更好）。我们希望这项工作可以在半监督环境下为基于图像的3D检测社区提供见解。代码，伪标签和预培训模型将公开可用。
translated by 谷歌翻译
基于深度学习的无监督光流估计器由于对地面真理的成本和难度而引起了越来越多的关注。尽管多年来通过平均终点误差（EPE）衡量的性能有所提高，但沿运动边界（MBS）的流量估计仍然较差，而流动不平稳，通常假定的流动不平滑，而神经网络计算的功能为多个动作污染。为了改善无监督的设置中的流量，我们设计了一个框架，该框架通过分析沿边界候选者的视觉变化来检测MB，并用更远的动作取代接近检测的动作。我们提出的算法比具有相同输入的基线方法更准确地检测边界，并且可以改善任何流动预测变量的估计值，而无需额外的训练。
translated by 谷歌翻译
我们提出了Tain（视频插值的变压器和注意力），这是一个用于视频插值的残留神经网络，旨在插入中间框架，并在其周围连续两个图像框架下进行插值。我们首先提出一个新型的视觉变压器模块，称为交叉相似性（CS），以与预测插值框架相似的外观相似的外观。然后，这些CS特征用于完善插值预测。为了说明CS功能中的遮挡，我们提出了一个图像注意（IA）模块，以使网络可以从另一个框架上关注CS功能。此外，我们还使用封闭式贴片来增强培训数据集，该补丁可以跨帧移动，以改善网络对遮挡和大型运动的稳健性。由于现有方法产生平滑的预测，尤其是在MB附近，因此我们根据图像梯度使用额外的训练损失来产生更清晰的预测。胜过不需要流量估计并与基于流程的方法相当执行的现有方法，同时在VIMEO90K，UCF101和SNU-FILM基准的推理时间上具有计算有效的效率。
translated by 谷歌翻译
在高光中，幽灵伪像，运动模糊和低忠诚度是来自多个低动态范围（LDR）图像的高动态范围（HDR）成像的主要挑战。这些问题来自使用中等暴露图像作为先前方法中的参考框架。为了应对它们，我们建议使用暴露不足的图像作为避免这些问题的参考。但是，暴露不足图像的黑暗区域中的沉重噪音成为一个新问题。因此，我们提出了一个关节HDR和Denoising管道，其中包含两个子网络：（i）通过利用暴露先验来适应性的denoise输入LDR； （ii）金字塔级联融合网络（PCFNET），以多尺度的方式引入了注意机制和级联结构。为了进一步利用这两个范式，我们提出了一个选择性和联合HDR和DeNoising（SJ-HD $^2 $ R）成像框架，利用特定方案的先验来进行路径选择，准确性超过93.3 $ \％$ $ 。我们创建了第一个关节HDR和Denoising基准数据集，该数据集包含各种具有挑战性的HDR和DeNoising场景，并支持参考图像的切换。广泛的实验结果表明，我们的方法实现了与以前的方法相比的卓越性能。
translated by 谷歌翻译
与无监督培训相比，对光流预测因子的监督培训通常会产生更好的准确性。但是，改进的性能通常以较高的注释成本。半监督的培训与注释成本相比，准确性的准确性。我们使用一种简单而有效的半监督训练方法来表明，即使一小部分标签也可以通过无监督的训练来提高流量准确性。此外，我们提出了基于简单启发式方法的主动学习方法，以进一步减少实现相同目标准确性所需的标签数量。我们对合成和真实光流数据集的实验表明，我们的半监督网络通常需要大约50％的标签才能达到接近全标签的精度，而在Sintel上有效学习只有20％左右。我们还分析并展示了有关可能影响主动学习绩效的因素的见解。代码可在https://github.com/duke-vision/optical-flow-active-learning-release上找到。
translated by 谷歌翻译
垂直协作学习系统也被称为垂直联合学习（VFL）系统最近成为一个概念，以处理在许多个人来源上分布的数据，而无需集中它。多个参与者以隐私保留方式基于其本地数据协作培训模型。迄今为止，VFL已成为一项事实上的解决方案，以便在组织之间安全地学习模型，允许在不影响任何个人组织的隐私的情况下共享知识。尽管VFL系统的发展繁荣发展，但我们发现参与者的某些投入，名叫对抗的主导投入（ADIS），可以将联合推断占主持旨在的意志的方向，并迫使其他（受害者）参与者进行可忽略不计的捐款，失败奖励通常提供他们在合作学习情景中的贡献的重要性。通过首先在典型的VFL系统中证明其存在，我们对ADI进行了系统研究。然后，我们提出基于梯度的方法来综合各种格式的ADI并利用公共VFL系统。我们进一步推出了Greybox Fuzz测试，以“受害者”参与者的弹性分数为指导，以扰乱对抗控制的输入，并以隐私保存方式系统地探索VFL攻击表面。我们对临界参数和环境在合成ADIS中的影响进行了深入的研究。我们的研究揭示了新的VFL攻击机会，在违反之前促进了未知威胁的识别，并建立了更安全的VFL系统。
translated by 谷歌翻译
作为服务的云计算和机器学习的繁荣发展导致媒体软件的广泛使用来处理机密媒体数据。本文探讨了对媒体软件启动侧通道分析（SCA）以重建机密介质输入的侵略性的能力。代表学习和感知学习的最新进展激发了我们考虑从侧通道迹线的媒体输入的重建作为跨模式歧管学习任务，可以以统一的方式通过训练的自动介质框架来寻址，以便学习媒体输入之间的映射和侧沟道观测。我们进一步提升了自动统计学家，注意本地化对SCA的主要贡献的程序点，从而自动查明媒体软件中的信息泄漏点。我们还提出了一种新颖且非常有效的防御技术，称为感知致盲，可以使媒体输入具有感知掩模和减轻基于多种学习的SCA。我们的评估利用三个流行的媒体软件重建图像，音频和文本格式的输入。我们分析了三个常见的侧面通道 - 缓存库，缓存行和页面表 - 以及仅由标准Prime +探针记录的用户空间缓存设置访问。我们的框架成功地从评估的媒体软件重建了高质量的机密输入，并自动查明了他们脆弱的程序点，其中许多是公众所未知的。我们进一步表明，感知致盲可以减轻基于流形的学习的SCA，额外的成本可忽略不计。
translated by 谷歌翻译
Markov决策过程（MDP）为建模顺序决策问题提供了一种数学框架，其中许多是对安全性和安全性至关重要，例如自主驾驶和机器人控制。人工智能研究的快速发展已经创造了解决MDP的有效方法，例如深神经网络（DNN），加固学习（RL）和仿制学习（IL）。然而，这些用于解决MDP的流行模型既不彻底测试也不是严格的可靠性。我们呈现MDPFuzzer，这是求解MDP的模型的第一个Blackbox Fuzz测试框架。 MDPFuzzer通过检查目标模型是否进入异常和危险状态来形成oracelles。在模糊期间，MDPFuzzer通过测量可以减少累积奖励或形成新的状态序列来确定哪个突变状态。我们设计有效的技术来使用高斯混合模型（GMM）和动态期望 - 最大化（Dynem）来量化状态序列的“新鲜度”。我们还通过估计各种目标模型的局部敏感度，优先考虑具有泄露崩溃的高潜力。 MDPFuzzer在五种最先进的模型中进行了评估，用于解决MDP，包括监督DNN，RL，IL和多代理RL。我们的评估包括自动驾驶，飞机碰撞避免和经常用于基准测试的两个游戏的情况。在12小时的运行期间，我们在每个模型上找到超过80次碰撞触发状态序列。我们展示了鼓舞的发现，碰撞触发状态虽然正常，但与正常状态相比，诱导不同的神经元激活模式。我们进一步开发了异常行为检测器，以硬化所有评估的模型，并使用MDPFuzzer的调查结果修复它们，以显着提高其鲁棒性而不会牺牲精度。
translated by 谷歌翻译
我们开发DeepTraversal，一个反馈驱动的框架来测试DNN。DeepTraversal首先启动离线阶段，以将各种形式的媒体数据映射到歧管。然后，在其在线测试阶段，DeameTraversal遍历准备的歧管空间以最大化DNN覆盖标准和触发预测误差。在我们的评估中，使用DNN执行各种任务（例如，分类，自动驾驶，机器翻译）和不同类型（图像，音频，文本）的媒体数据。DeepTraversal表现出比现有的方法相对于流行DNN覆盖标准的方法更好，并且它可以发现更大的数量和更高质量的错误触发输入。经过测试的DNN模型，经过深度干扰的调查结果，实现更好的准确性
translated by 谷歌翻译